06 研究発表コンテンツ内の意味的対応関係を活用した研究理解の支援
https://scrapbox.io/files/6392b437c91eed001d26bf94.png
要旨：
近年学会運営組織から提供される研究理解のためのコンテンツは多様になった。しかしそれらは個別に視聴・消費されており、各コンテンツの特性は生かされていない。そこで本研究ではコンテンツ間の意味的対応関係を抽出し、相互参照の形でユーザーに提示することで、コンテンツを横断した統合的な理解をサポートする。本稿では対応関係を自動抽出する手法を提案し、抽出結果を活用したシステムを作成した。加えて自動検出手法の性能の予備調整を行った。 採録時コメント：
オンラインでの学会参加のために論文や発表資料を有機的に関連付けることで、リッチなオンライン学会参加体験を実現する研究は、新規性の観点での判断は難しい一方で、有用性は高いと考えられます。投稿段階の論文については、出版に向けて複数の懸念事項があり、これらを解決することを条件としてショート採録とします。 アンケートのお願い・デモの宣伝
アンケートへのご協力をお願いします。研究活動をしているなかで、ほかのひとはどうしているんだろうと疑問に思うことはありませんか？ 発表を聞きながら、大切なことや気になったことをどうやって記録するの？
論文の読むときにどんな工夫をしているの？
研究の理解のためにどんなサポートがほしい？
アンケート結果を参考にしながら、研究に役立たせていたたきたいと思ってます。よろしくお願いいたします。
２日目のデモで体験できます！論文に書かれている内容からさらに進化していますよ！
参加者メモ・コメント：
たしか栗原先生が作られていた，パワポの表示に合わせてチャットにテキストを流してくれる研究，ありましたよね…あれを自動生成してくれるみたいな感じなのかしらん？くらもといたる.icon
ChatGPT突っ込んでついでに要約までしてくれたらいい…かもしれない．くらもといたる.icon
リアルタイムに情報を見るときと，後でまとめて情報を再参照するときで参照構造（の適切性）って変わる…のかな？ 今慌てて知りたいことと，後でまとめて全部理解したいときとではモノの見方は変わるような気がしないでもない（まとまってない）くらもといたる.icon
これは結局どこから見ればいいんだろうか。渡邊恵太.icon ←この疑問わかるくらもといたる.icon
どこから見てもOKっていうはなし？渡邊恵太.icon
なんだか結局わっちゃわちゃになりそうな気もします．．
+2yuiseki.iconYuma 17.icon
デモ
論文視聴画面
スライドと論文が左右に並んでいる
中央に色の濃淡の帯がある
色の濃さは何を表現しているのだろうYudai Nishiyama.icon
一番右端に抽出されたトピックの色がある
論文内に4つのトピックがあるので4色表示されている
これ興味深いyuiseki.icon
本当に4つのトピックだけなのか…？
するどいご指摘。TF/IDF でベクトル化したものをクラスタリング (DBSCAN) していますが、ハイパーパラメタの設定は大切です。ε の設定が該当します。k-Means ではないので予めクラスタ数を限定しているわけではありません。 kwakita.icon 論文を読みながら、単に情報を消費するだけでなく、新しい概念を生成することを指しています。注釈、他人への情報提供などが例になります。kwakita.icon
コンテンツ間の要素の意味対応関係を抽出
アクティブリーディングの主要プロセス
概要表示
コンテンツ本体の視聴
関連箇所の示唆
xxx
xxx
データの加工の手順
ここの手間がどれくらい自動化されているかが気になりますねYudai Nishiyama.icon
論文の書面を矩形で自動抽出するのか…
この部分は画像の segmentation を利用して自動化しています。論文の種類（書式）に応じてテンプレートを切り替える必要があります。今回は IEEE と ACM が提供する一部の LaTeX class 形式に対応しています。
なるほど
IEEE 2 カラム 国際会議用形式
正規表現で抽出
発表スライド
10秒ごとに切り取り
画像処理で類似フレームを消去
ここが面白かったyuiseki.icon
論文と同じように動画も要約している
関連付け
DBSCANで段落をクラスタリング
濃すぎてメモが追いつかないyuiseki.icon*2
論文グループ閲覧画面というのがある
:
類似研究も提示されるとより理解が深まりそう
学会発表がテーマだけど、学校の授業で教科書使って同じことができそうですねYudai Nishiyama.icon
いま教科書のどこを説明しているんだ…と目で探すことがなくなりそう
質疑応答
マジでリアルタイム発表対応して欲しいソノヤマタカスケ.icon
日本語に対応していなかったので、実現できませんでした。すみません。 kwakita.icon
逆に非同期でいつでも発表時の臨場感を体験できるという見方もできそうですよねYudai Nishiyama.icon むしろ要件を削ったほうがいいのではないかなとも感じましたyuiseki.icon
論文の段落がクラスタリングされてるだけでも読みやすくなりそうだったり
ぜひ、デモをいじってみて下さい。 kwakita.icon
了解です！！触ってみますyuiseki.icon
なるほど、スライドと論文の関連性、そして論文の意味構造を提示することでより深い理解を促す、という観点だと、たしかにこういう形になるのか
大量の論文をクイックに浅く理解したいという気持ちが湧いてきてしまう
これ、アーカイブが蓄積されたら、一見関連のなさそうな分野の研究との関連性が抽出されたりする未来があるんじゃないでしょうか？ソノヤマタカスケ コメントありがとうございます！今は、横断的な解析はしていないんですが、できるといいですね！このような分析を可能とする、データフォーマットと索引の標準化が大切かなと思っています。 kwakita.icon
論文や教育以外にも色々応用が効きそうなので（小説とコミカライズとアニメの同じ部分を抽出するとかw）期待してます♪ソノヤマタカスケ.icon
たしかに、そう考えるとなんだか新しいメディアやコンテンツも生まれそうですねyuiseki.icon
スマホの誕生で縦スクロールマンガが生まれたみたいな…